הרצאה 4 א - רגולריזציה

התאמת יתר והתאמת חסר:

התאמת חסר (underfitting): מצב שבו הרשת "פשוטה מדי", קורה כשלרשת אין מספיק פרמטרים כדי לחזות את התצפיות נכון. נקבל גם שגיאת אימון וגם שגיאת הכללה גבוהים
התאמת יתר(overfitting): מצב שבו הרשת "מורכבת מדי", קורה כשהמודל מכיל יותר פרמטרים מדוגמאות והוא מתאים את עצמו בצורה טובה לדוגמאות המבחן אך לא מצליח להכליל. נקבל שגיאת אימון נמוכה אך שגיאת הכללה גבוהה.

רגולריזציה:

הנחה / אוסף של הנחות שאנו מוסיפים למודל בשביל להימנע מהתאמת יתר וכדי לשפר את יכולת ההכללה של הרשת

שיטת ridge regression:

"הענשת" המודל על מציאת וקטור משקלים עם נורמה גדולה, כדי ליצור שערוך פרמטרים יציב וביצועי הכללה טובים יותר.
נעשה זאת באמצעות איבר רגולריזציה: $λ ∥ w ∥^{2}$ אשר מעניש משקלים גדולים
ככל שלמדא גדול יותר, נקבל וקטור משקלים קרוב יותר לאפס, ובכך נגרום להשפעה נמוכה של נתוני האימון
בדרך כלל לא נפעיל רגולריזציה על ה-bias
במקרים בהם המאפיינים השונים נתונים ביחידות שונות, ננרמל אותם על ידי חלוקה בסטיית התקן של נתוני האימון

צעד למידה בשיטת ridge regression:

η (y_{0} - \vec{w} \vec{x}) - η (λ \vec{w})